Algérie lần đầu tiên tham dự Thế vận hội vào năm 1964, và từ đó tới nay tham gia liên tục các Thế vận hội Mùa hè, trừ kỳ Thế vận hội Mùa hè năm 1976. Algérie cũng từng gửi vận động viên (VĐV) đến tranh tài tại 3 kỳ Thế vận hội Mùa đông.Cơ quan phụ trách về Olympic của Algéria được thành lập vào năm 1963.Vận động viên thể dục dụng cụ Mohamed Lazhari đại diện cho Algeria lần đầu tiên tham gia đấu trường Olympic tại Thế vận hội Mùa hè 1964.Tại Thế vận hội Mùa hè 1976, Algérie đã không tham gia như một sự phản đối quyết định của IOC không phạt các quốc gia trước đó từng thi đấu tại Nam Phi, đang dưới chế độ Apartheid. Hầu hết các quốc gia châu Phi đều rút khỏi kì Olympic. Chính Nam Phi, trước vụ việc này, vốn đã bị cấm tham gia các kì Thế vận hội từ năm 1964.Tại Thế vận hội Mùa hè 1980, Algérie lần đầu tiên tham gia các môn thể thao đồng đội, tranh tài ở môn bóng đá và bóng ném. Algérie giành được những tấm huy chương đầu tiên tại Thế vận hội Mùa hè 1984, khi Mustapha Moussa và Mohamed Zaoui đều cùng đạt được huy chương đồng môn Quyền Anh.